在本文中，我们考虑了第一和二阶技术来解决机器学习中产生的连续优化问题。在一阶案例中，我们提出了一种从确定性或半确定性到随机二次正则化方法的转换框架。我们利用随机优化的两相性质提出了一种具有自适应采样和自适应步长的新型一阶算法。在二阶案例中，我们提出了一种新型随机阻尼L-BFGS方法，该方法可以在深度学习的高度非凸起背景下提高先前的算法。这两种算法都在众所周知的深度学习数据集上进行评估并表现出有希望的性能。

对于神经网络的近似贝叶斯推断被认为是标准培训的强大替代品，通常在分发数据上提供良好的性能。然而，贝叶斯神经网络（BNNS）具有高保真近似推断的全批汉密尔顿蒙特卡罗在协变速下实现了较差的普遍，甚至表现不佳的经典估算。我们解释了这种令人惊讶的结果，展示了贝叶斯模型平均值实际上如何存在于协变量的情况下，特别是在输入特征中的线性依赖性导致缺乏后退的情况下。我们还展示了为什么相同的问题不会影响许多近似推理程序，或古典最大A-Bouthiori（地图）培训。最后，我们提出了改善BNN的鲁棒性的新型前锋，对许多协变量转变来源。

通过更好地了解多层网络的损失表面，我们可以构建更强大和准确的培训程序。最近发现，独立训练的SGD解决方案可以沿近持续训练损失的一维路径连接。在本文中，我们表明存在模式连接的单纯复合物，形成低损耗的多维歧管，连接许多独立培训的型号。灵感来自这一发现，我们展示了如何有效地建立快速合奏的单纯性复杂，表现优于准确性，校准和对数据集移位的鲁棒性的独立培训的深度集合。值得注意的是，我们的方法只需要几个训练时期来发现低损失单纯乳，从预先接受训练的解决方案开始。代码可在https://github.com/g-benton/loss-surface-simplexes中获得。

开放域对话框的自动评估仍然是一个未解决的问题。此外，现有方法与人类注释没有密切相关。本文使用后续行动提出了一种新的自动化评估方法：我们衡量语言模型将继续使用固定的后续行动继续对话的可能性（例如，在这里不真正相关，您想说什么）。与现有的十二种方法进行比较时，我们的新评估与人类评估的最高相关性。

需要下一代无线网络以同时满足各种服务和标准。为了解决即将到来的严格条件，开发了具有柔性设计，分解虚拟和可编程组件以及智能闭环控制等特征的新型开放式访问网络（O-RAN）。面对不断变化的情况，O-Ran切片被研究为确保网络服务质量（QoS）的关键策略。但是，必须动态控制不同的网络切片，以避免由环境快速变化引起的服务水平一致性（SLA）变化。因此，本文介绍了一个新颖的框架，能够通过智能提供的提供资源来管理网络切片。由于不同的异质环境，智能机器学习方法需要足够的探索来处理无线网络中最严厉的情况并加速收敛。为了解决这个问题，提出了一种新解决方案，基于基于进化的深度强化学习（EDRL），以加速和优化无线电访问网络（RAN）智能控制器（RIC）模块中的切片管理学习过程。为此，O-RAN切片被表示为Markov决策过程（MDP），然后最佳地解决了资源分配，以使用EDRL方法满足服务需求。在达到服务需求方面，仿真结果表明，所提出的方法的表现优于DRL基线62.2％。

近年来，人们对使用电子病历（EMR）进行次要目的特别感兴趣，以增强医疗保健提供的质量和安全性。 EMR倾向于包含大量有价值的临床笔记。学习嵌入是一种将笔记转换为使其可比性的格式的方法。基于变压器的表示模型最近取得了巨大的飞跃。这些模型在大型在线数据集上进行了预训练，以有效地了解自然语言文本。学习嵌入的质量受临床注释如何用作表示模型的输入的影响。临床注释有几个部分具有不同水平的信息价值。医疗保健提供者通常使用不同的表达方式来实现同一概念也很常见。现有方法直接使用临床注释或初始预处理作为表示模型的输入。但是，要学习良好的嵌入，我们确定了最重要的临床笔记部分。然后，我们将提取的概念从选定部分映射到统一医学语言系统（UMLS）中的标准名称。我们使用与唯一概念相对应的标准短语作为临床模型的输入。我们进行了实验，以测量在公共可用的医疗信息集市（MIMIC-III）数据集的子集中，在医院死亡率预测的任务中，学到的嵌入向量的实用性。根据实验，与其他输入格式相比，基于临床变压器的表示模型通过提取的独特概念的标准名称产生的输入产生了更好的结果。表现最好的模型分别是Biobert，PubMedbert和Umlsbert。

城市河流提供了影响住宅生活的水环境。河流表面监测对于决定在哪里确定清洁工作以及何时自动开始清洁处理至关重要。我们专注于有机泥浆或“浮渣”，该泥浆积聚在河流的表面上，并给予其特殊的气味和对景观的外部经济影响。由于其具有稀疏分布和不稳定的有机形状模式的特征，因此很难自动进行监测。我们建议使用混合图像增强物进行斑块分类管道，以检测河流表面上的浮渣特征，以增加漂浮在河流上的浮渣与附近建筑物，例如建筑物，桥梁，杆子和障碍物（如建筑物，桥梁和障碍物）所反映的河流背景的多样性。此外，我们建议在河流上覆盖的浮渣索引，以帮助在线监视较差的等级，收集浮渣并决定化学处理政策。最后，我们展示了如何在每十分钟的时间序列数据集中使用框架的时间序列数据集录制河流浮渣事件。我们讨论管道的价值及其实验发现。

对比性自我监督学习方法学会将图像（例如图像）映射到无需标签的情况下将图像映射到非参数表示空间中。尽管非常成功，但当前方法在训练阶段需要大量数据。在目标训练集规模限制的情况下，已知概括是差的。在大型源数据集和目标样本上进行微调进行预处理，容易在几杆方向上过度拟合，在几个弹药方面，只有少量的目标样本可用。在此激励的情况下，我们提出了一种用于自我监督的对比度学习的域适应方法，称为少数最大的学习方法，以解决对目标分布的适应问题，这些问题在几乎没有射击学习下。为了量化表示质量，我们在包括ImageNet，Visda和FastMRI在内的一系列源和目标数据集上评估了很少的最大最大速度，在这些数据集和FastMRI上，很少有最大最大的最大值始终优于其他方法。

We study distributed contextual linear bandits with stochastic contexts, where $N$ agents act cooperatively to solve a linear bandit-optimization problem with $d$-dimensional features over the course of $T$ rounds. For this problem, we derive the first ever information-theoretic lower bound $\Omega(dN)$ on the communication cost of any algorithm that performs optimally in a regret minimization setup. We then propose a distributed batch elimination version of the LinUCB algorithm, DisBE-LUCB, where the agents share information among each other through a central server. We prove that the communication cost of DisBE-LUCB matches our lower bound up to logarithmic factors. In particular, for scenarios with known context distribution, the communication cost of DisBE-LUCB is only $\tilde{\mathcal{O}}(dN)$ and its regret is ${\tilde{\mathcal{O}}}(\sqrt{dNT})$, which is of the same order as that incurred by an optimal single-agent algorithm for $NT$ rounds. We also provide similar bounds for practical settings where the context distribution can only be estimated. Therefore, our proposed algorithm is nearly minimax optimal in terms of \emph{both regret and communication cost}. Finally, we propose DecBE-LUCB, a fully decentralized version of DisBE-LUCB, which operates without a central server, where agents share information with their \emph{immediate neighbors} through a carefully designed consensus procedure.

脊椎动物视网膜在加工琐碎的视觉任务中是高效的，例如检测移动物体，但是现代计算机的复杂任务。对象运动的检测由名为对象 - 运动敏感神经节细胞（OMS-GC）的专用视网膜神经节细胞完成。 OMS-GC处理连续信号并生成由Visual Cortex后处理的尖峰模式。本工作中提出的神经晶杂交尖峰运动检测器（NeurohSMD）使用现场可编程门阵列（FPGA）加速了HSMD算法。混合尖峰运动检测器（HSMD）算法是增强动态背景减法（DBS）算法的混合算法，其具有定制的3层尖峰神经网络（SNN），该扫描神经网络（SNN）产生OMS-GC Spiking的响应。将NeurokSmd算法与HSMD算法进行比较，使用相同的2012年改变检测（CDNET2012）和2014更改检测（CDNET2014）基准数据集。结果表明，NeurohSMD在实时生产与HSMD算法相同的结果，而不会降低质量。此外，本文提出的NeurokSMD以开放的计算机语言（OpenCL）完全实现，因此在其他设备中容易复制，例如图形处理器单元（GPU）和中央处理器单元（CPU）的集群。